Khi tỉnh Mường chính thức được đổi tên thành tỉnh Hòa Bình vào năm 1896, địa bàn phường Kỳ Sơn bấy giờ nằm trong địa bàn xã Mông Hóa, tổng Mông Hóa, châu Kỳ Sơn.

Ngày 22 tháng 1 năm 1957, Ủy ban kháng chiến hành chính Liên khu 3 quyết nghị chia xã Mông Hóa thành 4 xã: Mông Hóa, Dân Hòa, Dân Hạ và Phúc Tiến. Phường Kỳ Sơn lúc này thuộc xã Dân Hạ.

Ngày 1 tháng 8 năm 1994, Chính phủ ban hành Nghị định số 80-CP. Theo đó, thành lập thị trấn Kỳ Sơn, thị trấn huyện lỵ huyện Kỳ Sơn trên cơ sở 460 ha diện tích tự nhiên và 3.031 người của xã Dân Hạ.

Năm 2018, thị trấn Kỳ Sơn có 3,53 km² diện tích tự nhiên, dân số là 2.574 người.

Ngày 17 tháng 12 năm 2019, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết số 830/NQ-UBTVQH14 về việc sắp xếp các đơn vị hành chính cấp huyện, cấp xã thuộc tỉnh Hòa Bình (nghị quyết có hiệu lực từ ngày 1 tháng 1 năm 2020)[1]. Theo đó:

• Sáp nhập toàn bộ diện tích và dân số của huyện Kỳ Sơn vào thành phố Hòa Bình
• Sáp nhập 31,02 km² diện tích tự nhiên và 4.673 người của xã Dân Hạ vừa giải thể (gồm 8 xóm: Đồng Bến, Đồng Sông, Hữu Nghị, Máy Giấy, Mỏ, Nút, Tân Lập, Văn Tiến) vào thị trấn Kỳ Sơn để thành lập phường Kỳ Sơn thuộc thành phố Hòa Bình.

Sau khi thành lập, phường Kỳ Sơn có 34,55 km² diện tích tự nhiên, dân số là 7.247 người.